Lý Đặc là người Đê tại đất Ba (có thuyết nói là người Tung). Lý Đặc là con của Lý Mộ (李慕), ông của Lý Đặc từng quy phụ Tào Tháo, được Tào Tháo trao chức tướng quân. Tổ tịch của Lý Đặc là ở Đãng Cừ huyện thuộc Ba Tây quận (nay thuộc Cừ, Tứ Xuyên), đến thời Tào Ngụy thì tổ tiên di cư đến Lược Dương (nay thuộc Tần An, Cam Túc).

Theo mô tả trong sử sách, Lý Đặc thân dài tám thước. Ông xếp thứ hai trong số các anh em. Anh em ông đều giỏi cưỡi ngựa bắn cung. Do có tiếng tăm về sách lược quân sự, người trong làng xóm đều quy phụ anh em họ Lý.